تحسين محركات البحث
ملفات robots.txt و ملفات Sitemap
ملفات robots.txt و ملفات Sitemap
يجب على أي موقع ويب مهتم بالحصول على أكبر عدد ممكن من الزوار استخدام ملفات robots.txt وملف Sitemap. لذا سنتحدث عنهم فى المقال التالى بشىء من التفصيل .
اقرأ أيضاً: إضافة خريطة موقع من WordPress إلى google webmaster
ملف robots.txt
ملف robots.txt عبارة عن ملف نصي له تنسيق بسيط يعمل على توفير معلومات عن روبوتات الويب فيما يخص الأجزاء الموجودة في موقعك التي لا يُسمح لها بزيارتها.
إذا لم يكن لديك ملف robots.txt ، فمن المفترض أن تكون روبوتات الويب قادرة على الانتقال إلى أي مكان على موقعك.
حيث يتيح ملف robots.txt البسيط هذا إمكانية وصول الروبوتات إلى موقعك في أي مكان.
عندما يتعذر على العناكب العثور على ملف robots.txt الخاص بك. تمنع من الحصول على أخطاء 404في ملفات السجل الخاص بك.
وكيل المستخدم: *
عدم السماح:
ما عليك سوى وضع هذا الملف في خادم الويب الخاص بك لاستخدامه.
حتى إذا كان موقع الويب الخاص بك هو
https://www.yourwebsite.com
عليك بعد ذلك الذهاب إلى ملف robots.txt على الموقع
https://www.yourwebsite.com/robots.txt
إذا كنت لا تريد أن يزوروا أجزاء معينة من موقعك ، فيمكنك إضافة
Disallow: line
هذا الإجراء سيؤدي إلى إيقاف الروبوتات التى تتعامل بشكل جيد عن الوصول إلى الدلائل المحددة .
لاحظ أن ليس كل الريبوتات تتعامل بشكل جيد ، فلا تعتمد عليه كوسيلة لإيقاف فهرسة هذه الدلائل.
أما إذا كنت لا تريد فهرسة الصفحات ، فلا تقوم بوضعها على الويب أو أستخدم نظام أمان مناسبًا مثل htaccess password protection.
User-agent: *
Disallow: /data/
Disallow: /scripts/
باستخدام ملف robots.txt ، يمكنك عدم السماح لجميع الروبوتات بالوصول إلى أي مكان فى موقعك.
User-agent: *
Disallow: /
يمكن استخدام الأمر “User-agent” لتقييد الأوامر الخاصة بروبوتات ويب معينة. أما العلامة “*” فقم بإستخدامها في الأمثلة الخاصة بتطبيق الأوامر على جميع برامج الروبوت.
ملفات XML Sitemaps
هي ملف XML به قائمة بجميع صفحات الويب على موقع الويب الخاص بك، قد تتضمن أيضًا معلومات إضافية على شكل بيانات وصفية حول كل عنوان URL.
فملف Sitemap ضروري – تمامًا مثل ملف robots.txt.
يعمل أيضاً هذا البرنامج على مساعدة روبوتات محركات البحث لاستكشاف جميع صفحات الويب الموجودة في الموقع والزحف إليها وفهرستها.
اقرأ أيضاً: تحديثات جوجل للباكلينك
كيف ترتبط ملفات robots.txt وملفات Sitemap؟
فى عام 2006 : قامت شركات ياهو و جوجل و ميكروسوفت بتوحيد جهودهم حول دعم البروتوكول الموحد لإرسال الصفحات من خلال ملفات Sitemap إلى موقع ما.
و طُلب منك حينها إرسال ملفات Sitemap باستخدام أدوات مشرفي المواقع من جوجل ،و بينج ،و ياهو، بينما يتم استخدام نتائج ياهو و بينج بواسطة بعض محركات البحث الأخرى مثل DuckDuckGoGo.
ثم بعد ذلك قاموا بالإنضمام إلى دعم نظام العثور على خريطة الموقع عبر ملف robots.txt بعد ستة أشهر تقريبًا ، في أبريل 2007 ، أطلق علي هذا النظام sitemap autodiscovery.
هذا دليل على أنه كان على ما يرام و ذلك بالرغم من عدم تقديم خريطة الموقع لمحركات البحث الفردية.
فى البداية ، سوف يجدون موقع Sitemap من ملف robots.txt على موقعك. وبالتالي ، يصبح ملف robots.txt أكثر أهمية لمشرفي المواقع لقدرته على تمكينهم من تمهيد الطريق أمام روبوتات محرك البحث لاكتشاف كل الصفحات على موقعهم على الويب بسهولة.
ملاحظة أخيرة : لا يزال يتم تقديم ملف Sitemap على معظم محركات البحث ، ومع ذلك ، يسمح أيضاً بتقديم عنوان URL.
اقرأ أيضاً: ما هو السيو التقني لموقعك
